Image-Based Rendering from a Single Image

In this report, we present a new method to recover an approximation of the bidirectional re ectance distribution function (BRDF) of the surfaces present in a real scene. This is done from a single photograph and a 3D geometric model of the scene. The result is a full model of the re ectance properties of all surfaces, which can be rendered under novel illumination conditions, with, for example, viewpoint modi cation and the addition of new synthetic objects. Our technique produces a re ectance model using a small number of parameters. Using a new hierarchical algorithm assumptions are done for each surface about their BRDF, which becomes more and more complex during the rerendering iterations. We treat each type of BRDF separately, applying a speci c algorithm to take into account its own characteristics and its parameters. The number of parameters varies with the complexity of the model. When an approximation of the BRDF of all surfaces has been found, high quality rerenderings are produced using a global illumination software. We present several synthetic images that are compared to the original ones, as well as some possible applications in augmented reality. Key-words: Computer Graphics, Computer Vision, Illumination, Image-Based Rendering, Radiosity, Ray Tracing, Re ectance Recovery, Rendering, Inverse Rendering, Rerendering, BRDF, Augmented Reality Rendu Inverse à partir d'une Seule Image Réelle Résumé : Dans ce rapport de recherche, nous présentons une nouvelle méthode pour la reconstruction d'une approximation de la fonction de distribution de ré exion bidirectionnelle (BRDF). Les données nécessaires à une telle reconstruction sont décrites par une seule photographie de la scène et un modèle géométrique 3D de cette scène. Le résultat produit est un modèle complet des propriétés de ré exion de toutes les surfaces, incluant la possibilité de recalculer une nouvelle image synthétique, soit sous les conditions initiales, soit sous de nouvelles conditions (nouvel éclairement, nouveau point de vue, ajout/ablation d'objets, etc.). Notre technique emploie un modèle de BRDF simple, basé sur cinq paramètres au maximum, pour calculer les ré ectances des objets, qui deviennent de plus en plus complexes au fur et à mesure des itérations de rendu inverse. Chaque type de surface extraite de l'image réelle est donc traitée séparément, en appliquant un algorithme spéci que pour leur calculer des propriétés de ré ectance. Le nombre de paramètres de ré ectance varie avec la complexité de la BRDF choisie pour une surface. Lorsqu'une approximation de la BRDF de chaque surface de la scène a été trouvée, il est possible de calculer une nouvelle image synthétique en utilisant un logiciel d'illumination globale. Nous présentons ici plusieurs images synthétiques qui sont directement comparées aux images réelles, ainsi que des possibilités d'applications dans le domaine de la réalite augmentée. Mots-clés : Vision par Ordinateur, Synthèse d'Images, Illumination, Rendu à base d'Images Réelles, Radiosité, Lancer de Rayons, Recouvrement de Ré ectances, Rendu Réaliste, Rendu Inverse, BRDF, Réalité Augmentée Image-Based Rendering 3